HindSearch: Trajectory-Level Hindsight Critique for Search-Augmented Reinforcement Learning
HindSearch：轨迹级后见批评提升搜索增强RL
🧭 后见批评 · 搜索增强强化学习 ★ 深度解读
Santa Clara University · Rochester Institute of Technology · Independent Researcher
利用黄金答案生成失败轨迹的指令性批评，通过on-policy distillation使搜索RL获得密集信号，平均EM提升至39.4%
📌 工作参考价值（4 点）
- 训练搜索型Agent时可复用：电商搜索、推荐对话等场景可将最终正确答案（如成交商品）作为后见，让冻结裁判生成“本应搜索什么”的批评，转化为密集训练信号，缓解稀疏奖励下信用分配困难。
- 简单可插拔的密集奖励方案：直接在GRPO上叠加一个OPD损失，只作用于搜索动作token，无需训练过程奖励模型，额外计算开销仅在训练时、只在失败轨迹上（约15% wall-clock），推理时零成本。
- 批评生成技巧：用强大但冻结的裁判LLM，输入完整轨迹+正确答案，输出1-2句具体指令（“应该查询导演名而非演员表”），广播到所有搜索步作为hint前缀；使用同尺寸学生模型作为教师，避免教师过大导致KL崩塌。
- 可迁移结论：后见批评带来的提升同等覆盖训练域内和零样本任务（+5.85pp vs +5.80pp），表明学到的搜索策略是通用的，适用于新场景快速泛化。